Vela：以用户行为作为监督激发 LLM 智能
🧭 LLM 训练 · 用户行为监督 ★ 深度解读
AllSpark Team
用10万用户真实行为构造可见历史/隐藏未来任务微调LLM，同步提升用户理解与通用能力
📌 工作参考价值（4 点）
- 可直接借鉴「可见历史/隐藏未来」的构造方式：把电商/广告日志按时序切分，将浏览、搜索、购买、收藏、负反馈作为可见上下文，用未来购买/点击/广告互动作为 ground truth，自动生成预测式 SFT 数据，省去人工标注。
- 对用户画像摘要、搜索 query 生成、广告文案等 free-form 输出，用 Rubric 类模板 + LLM scorer 做任务特定 criteria 自动评估，例如「证据是否来自历史」「是否避免无据属性」，既可用于离线评测，也可作为训练信号。
- 用基座模型多次采样估计难度，只保留 0.2–0.8 中间难度任务，再选高分轨迹做 SFT/RFT；这套筛选在 AdRecommendation、ProfileSummary 等任务上带来稳定 OOD 提升，成本低，适合业务个性化模型训练。
- 先做用户行为 SFT 再做 RL，比从基座直接 RL 高 7.7 分；在电商/Agent 的 RLHF/GRPO 流程前，可先加入一批行为监督 SFT，作为个性化能力的更强初始化。迁移时需按业务事件 schema 重新设计模板，并注意行为数据隐私合规。
信任方向，搜索步长：LLM微调的零阶与一阶方法
🧭 LLM微调优化 · 零阶一阶混合步长选择
University of Central Florida · Mohammed VI Polytechnic University
提出ZFO框架，用一阶优化器定方向，沿一维子空间做零阶评估选步长，成本低于线搜索
📌 工作参考价值（4 点）
- 在微调用于排序、召回或Agent决策的LLM时，可尝试ZFO自适应步长替代固定学习率或余弦退火，减少手动调参，训练后期或小数据集上可能提升稳定性。
- ZFO仅额外增加两次前向传播（无额外反向），成本极低，可作为插件直接嵌入现有AdamW等训练流程，无需重写优化器。
- 方法解耦方向与步长：保持一阶方向不变，仅动态调整沿该方向的移动距离，能应对损失地形变化，降低训练崩溃风险。
- 实现时注意局部模型选择：论文表明不同目标偏好不同局部模型（如二次/三次），可对验证损失做快速搜索选择，无需复杂超参。
信息近端自蒸馏用于LLM持续学习
🧭 LLM 持续学习 · 信息约束自蒸馏
Georgia Institute of Technology · Imperial College London · Politecnico di Torino · UCL Centre for AI
提出iSDFT将教师视为预算信息源，在每步选择满足信息约束的最近分布，提升LLM持续学习中稳定性与可塑性的平衡
📌 工作参考价值（4 点）
- 在电商/推荐场景中，当用新数据微调LLM（如用于query理解、内容生成、推荐理由）时，可采用iSDFT的“信息预算”思想：对每个token动态决定从教师（新任务模型）吸收多少信息，避免新策略完全覆盖旧能力，尤其适合需要持续更新但必须维持基线性能的线上系统。
- 锚定冻结基础模型（frozen base policy）的做法可作为一个轻量正则化项加入现有微调损失，实现简单且可稳定训练，有助于在迭代推荐模型时控制累积漂移，减少对旧用户行为模式的遗忘。
- 闭合形式的指数目标（exponential tilting）无需额外优化循环，工程实现成本低，可直接用于LLM4Rec的在线学习或定期更新，平衡稳定性和塑性。
- 该方法对多任务、多模态的推荐系统持续学习有借鉴意义：可以按任务重要度设置不同的教师信息约束，实现可控的旧知识保留和新知识注入。
竞争感知的生成式引擎优化：组合策略选择
🧭 生成式引擎优化 · 竞争感知组合策略选择 ★ 深度解读
Capital One, AI Foundations
用BOCS搜索竞争感知改写策略组合，再经DPO蒸馏为selector，在GEO基准上大幅超越agentic方法并抗竞争饱和
📌 工作参考价值（4 点）
- 在电商产品详情页/广告文案优化中，不要只优化单品内容，要把同query下竞品内容一起输入模型，让策略模型做「相对优化」；生成式搜索/推荐场景中，竞争饱和会显著侵蚀固定策略收益，条件于竞争语料可以减缓衰减。
- 两阶段「离线搜索+在线蒸馏」范式可直接复用：用BOCS等组合黑盒优化在离线环境搜索最优策略组合，再用SFT+DPO将黑盒观测蒸馏成轻量selector LLM，部署时仅需一次推理，避免在线运行昂贵的Bayesian optimization。
- 构造DPO偏好对时，先用Welch's t-test过滤统计不显著的观测，再选Hamming距离最小的hard negative，使模型学会区分相似策略组合之间的细微性能差异，比随机偏好对更高效。
- 推理轨迹蒸馏时，给teacher提供特权评分卡但强制其从可观测内容特征推理，然后把内容条件化推理教给学生；上线前要做泄露审计，并注意改写可能带来faithfulness/attribution下降，建议加入检索与事实性约束。
MMRM：面向电商搜索排序的多路多模态商品表示模型
🧭 多路多模态表示 · 多任务对比学习 ★ 深度解读
JD.COM
用共享MLLM加任务特定token，一次推理生成四种解耦商品向量，并设计多路用户表示提升多目标排序
📌 工作参考价值（4 点）
- 多任务协同信号联合训练：将搜索点击、行为序列中的点击/加购/下单四种信号分别构建三元组数据集，用对比学习对齐多模态LLM，生成更全面的商品表示。可迁移到电商多行为序列建模，捕捉不同意图（流行、搭配、复购）的品间关系。
- 一次推理产出多套解耦向量：在输入中插入[SEARCH]/[CLICK]/[CART]/[ORDER]等任务特定token，经过共享主干后由独立MLP投影，单次前向获得四个解耦嵌入，避免为每个任务单独微调或推理，适合工程落地。
- 排序侧的多路用户表示：利用多套商品向量分别进行Soft Search提取任务相关行为序列，再通过Multi-Head Target Attention生成任务特定用户表示，最后经MMoE融合。这种设计能让CTR/加购/转化塔各取所需，缓解多任务场景的表示纠缠问题。
- 数据构建技巧：基于行为图采样时，用Word2Vec风格的子采样概率和难负例采样（同子类目负例）提升对比学习质量；使用GradCache突破显存瓶颈，在4B参数MLLM上用4096 batch size训练，可直接参考其工程参数。
LLM 中 Super Weight 的发现与选择性训练之败
🧭 参数高效微调 · Super Weight 分析 ★ 深度解读
Amazon Web Services
证明重要性不等于可孤立训练性：微调 Super Weight 完全失效，而全层低秩更新（LoRA）成功且对位置限制鲁棒
📌 工作参考价值（4 点）
- 微调策略选择：不要试图仅训练少量重要参数（基于幅度或剪枝后的子集），即使它们对模型质量至关重要；实验显示训练100–8192个 Super Weight 准确率跌至随机，同样大小的随机稀疏训练（避开 Super Weight）却能超过基线。在电商/推荐场景微调 LLM 做 query 理解、商品描述生成时，直接使用 LoRA 等全层低秩更新，无需特意挑选重要参数。
- LoRA 位置冻结的冗余性：在 attention 层中冻结与 down_proj Super Weight 坐标对应的位置（占 LoRA 参数的 0.5–6.8%）对性能统计无影响（10 seeds p>0.05），且 LoRA 自身更新中最高幅值位置也不是瓶颈。这意味着部署 LoRA 时，不需要针对下游关键权重的位置做 mask 或缩放，低秩结构本身已提供协调性。
- 结构化分解的指导意义：理论证明稀疏更新只捕获微调子空间的 k/N，而低秩分解的覆盖维度是稀疏的 256×。在设计参数高效微调方案时，应优先选择具有层级别协调的结构（如低秩、SVD 基冻结），避免坐标对齐的稀疏选择，无论那些坐标看起来多重要。
- 异常权重的处理：若模型通过激活尖峰识别出 Super Weight 存在，标准 LoRA 微调足以成功，且 Super Weight 在微调期间几乎不变（幅度变化仅 0.03%），LoRA 通过重新路由表征来利用固定的高增益放大器。在需要持续适配推荐模型时，可信任 LoRA 的隐式正则，无需额外冻结或特殊约束 Super Weight 参数。
Agentopia：长期智能体社会模拟与生命奖励学习
🧭 多智体社会模拟 · 生命奖励训练 ★ 深度解读
Fudan University · Independent Researcher · Johns Hopkins University · University of Science and Technology of China
实现10年规模的智能体生活模拟，通过生命奖励训练提升LLM的社交智能与角色扮演能力
📌 工作参考价值（4 点）
- 长期多agent模拟可作为训练数据工厂：在虚拟社会中生成海量交互轨迹，无需人工标注，可用于训练客服、导购等角色扮演型对话模型，降低数据成本。
- 生命奖励的多维设计（社会+主观+经济）可用于优化推荐或对话agent：定义复合奖励并采用拒绝采样挑选高质量轨迹微调，比直接RL更稳定，适合业务中的离线策略优化。
- 记忆文件系统（Memory Files）提供轻量级长期记忆方案，agent自主管理读写，可借鉴到电商个性化推荐中持续积累用户长期偏好，避免上下文窗口膨胀。
- 环境模型作为生成式引擎替代硬编码规则，可降低构建复杂模拟环境（如购物决策、多轮协商）的开发成本，利用LLM灵活提供反馈和编排。
滞后策略优化（HPO）：稀疏奖励下稳定高效的GRPO训练改进
🧭 强化学习 · GRPO 优化 ★ 深度解读
Paris Research Center, Huawei Technologies · Huawei Technologies, China
通过非对称抑制负优势更新并改用均值长度归一化，缓解 GRPO 在稀疏奖励下的负优势主导与长度偏置，自适应权重免去手动调参
📌 工作参考价值（4 点）
- 在稀疏奖励（如早期 Agent 任务、低资源推荐对话）下，GRPO 会因大量失败样本的负优势更新主导训练，HPO 通过给负优势更新乘上小于 1 的权重来抑制负面信号，可简单集成到现有 GRPO/PPO 管线
- 用 batch 内平均长度替代逐响应长度归一化，消除“短正确回答权重过高、长错误回答惩罚不足”的长度偏置，更适合生成长度动态变化的推荐文案、多步 Agent 推理等场景
- A-HPO 根据 batch 内正/负优势样本比例自动计算阻尼系数 α，无需针对不同任务或训练阶段手动调 ❧ 唯一超参数，便于快速在新业务场景落地
- 方法几乎无额外计算开销，只需统计正负优势数量并做一次裁剪，可作为 GRPO 训练的标准增强件，用于电商对话推荐、生成式推荐评估等 RLHF 微调流程
生成式对话推荐系统：语义ID与结构化生成统一框架
🧭 生成式对话推荐 · Semantic ID · 结构化生成 ★ 深度解读
Nanyang Technological University
将对话推荐统一为自回归生成任务，通过语义ID和结构化分解实现端到端优化，召回提升达29%
📌 工作参考价值（4 点）
- 语义ID替代自然语言标题：在电商对话推荐中，可对商品建立语义ID（通过RQ-VAE量化商品文本描述），将推荐动作转化为ID生成，避免标题幻觉和词汇表爆炸。
- 结构化生成范式：将对话回复分解为“意图（推荐/闲聊）→ 目标商品ID → 自然语言回复”的因果依赖，可在多轮Agent中显式控制推荐决策，提升一致性和可控性。
- 受限解码保证ID忠实性：在推理时通过beam search约束生成有效的商品ID，杜绝“推荐不存在商品”的问题，对电商场景的幻觉控制有直接借鉴。
- 仅微调新token的LoRA策略：保持LLM主干冻结，只训练语义ID、模式等新引入token的嵌入，实现参数高效适配，适合业务中快速迭代多个商品库。
InfoSFT：信息感知的令牌加权，学得更多，忘得更少
🧭 Training ★ 深度解读
University of Pennsylvania · University of Southern California
提出基于模型置信度的令牌加权规则，为中等置信度令牌分配最高权重，提升泛化并减轻灾难性遗忘